爬虫思路

1.加载出页面，通过模拟点击实现爬取（适用于复杂场景）
selenium 等库
2.直接传输请求，一般体现为网络中的访问 url（适用于简单场景）
request 等库

爬虫框架

scrapy